import numpy as np
# 定义sigmoid函数
def sigmoid(z):
    # 返回1.0 / (1.0 + np.exp(-z))
    return 1.0 / (1.0 + np.exp(-z))
# 定义sigmoid导数函数
def sigmoid_prime(z):
    # 返回sigmoid(z) * (1 - sigmoid(z)),
    return sigmoid(z) * (1 - sigmoid(z))
# 定义softmax函数
def softmax(z):
    # 返回np.exp(z) / np.sum(np.exp(z))
    return np.exp(z) / np.sum(np.exp(z))
# 定义tanh函数
def tanh(z):
    # 返回np.tanh(z)
    return np.tanh(z)
# 定义tanh导数函数
def tanh_prime(z):
    # 返回1 - tanh(z) * tanh(z)
    return 1 - tanh(z) * tanh(z)
# 定义relu函数
def relu(z):
    # 返回np.maximum(z, 0)
    return np.maximum(z, 0)
# 定义relu导数函数
def relu_prime(z):
    # 返回z > 0
    return z > 0
